1-2 機械学習とは
大量のデータを用いて、モデルにデータのパターンを学習させ、なんらかの問題を解くような方法 (p.3)
(1-1より、ここの「問題」は、自然言語処理のタスクを含む)
機械学習の流れ
1. 特徴量抽出
データからタスクを解くのに有用な特徴量を抽出する (p.3)
自然言語処理ではデータ=テキスト(本の表記では「文章」 ref: p.5)
2. 抽出した特徴をモデルに入力し、その出力から問題を解く (p.3)
1では、数値として表現されていないデータ(テキスト)を数値に変換する必要がある
そして、1が肝。モデルの性能に影響する
特徴量抽出は人の手により設計されてきた
モデルは2の部分だけを担当
深層学習
end-to-end: 特徴量抽出とその後のモデルによる処理が1つのモデルで完結する
特徴量は自動的に抽出される (p.4より)
データの「表現」を学習するという意味で表現学習と呼ばれます (p.4)
汎用性の高いモデルの構築には膨大な量のデータが必要